Factors Influencing Iranian Untrained EFL Raters' Rating Group Oral Discussion Tasks: A Mixed Methods Design

Using a mixed methods design, the present study attempted to identify the factors influencing Iranian untrained EFL raters in rating group oral discussion tasks. To fulfil this aim, 16 language learners of varying proficiency levels were selected and randomly assigned to groups of four and performed a group discussion task. Thirty two untrained raters were also selected based on their volunteer participations. They listened to the audio files of the group discussions and assigned a score of one to six to each language learners based on their own judgments. They also provided comments on each language learners’ performance pointing to why they assigned such scores. The researchers had an interview with the raters after the rating session as well. The quantitative phase investigated whether linguistic features of accuracy, fluency, complexity and amount of talk were attended to by the raters in terms of having any relationship to the scores the raters assigned. Speech rate as an index of fluency and amount of talk turned out to be significantly correlated with the scores. Of more importance was the qualitative phase with the aim of identifying other factors that may account for the scores. The comments provided by the raters on each score and the interviews were codified based on Content Analysis (CA) approach. It was found that the raters attend not only to the linguistic features in rating oral group discussions, but they are also sensitive to the interactional features like the roles the participants take in groups tasks and the overall interaction patterns of the groups. The findings of this study may shed light on group oral assessment in terms of training the raters rating group oral tests and developing rating scales specific for group oral assessment. Persian Abstract:پژوهش حاضر، با بهره گیری از روش تحقیق ترکیبی به بررسی عوامل مؤثر بر ارزیابان آموزش ندیده ایرانی در ارزیابی فعالیت بحث گروهی می پردازد. بدین منظور، 16 زبان آموز از سطوح مختلف انتخاب و به صورت تصادفی به گروه های 4نفره تقسیم شده و یک فعالیت بحث گروهی را انجام دادند. 32 ارزیاب آموزش ندیده نیز بر اساس تمایل شخصی خود انتخاب شدند. ارزیابان، به بحث های گروهی ضبط شده گوش داده و بر اساس قضاوت خود نمره ای بین1 تا 6 به زبان آموزان اعطا کرده و همچنین نظرات خود را درباره ی مواردی که بر نمره دهی آنها مؤثر بود ارائه کردند. محقققین همچنین با ارزیابان مصاحبه ای در مورد نحوه نمره دهی آنها انجام دادند. بخش کمّی به بررسی ویژگی های زبانی دقت، فصاحت، پیچیدگی، و میزان نمونه های کلامی تولید شده توسط زبان آموزان و همبستگی آنها با نمره کسب شده توسط هر زبان آموز پرداخت. میزان گفتار، بعنوان شاخصی از فصاحت و میزان تکلم، با نمرات داده شده رابطه معناداری داشت. بخش کیفی مطالعه ی حاضر از اهمیت بیشتری برخوردار است چراکه در این بخش به کمک کدگذاری تحلیل محتوای نظرات ارزیابان، به تعیین سایر عواملی که بر ارزیاب در نمره دهی بحث گروهی مؤثر بودند پرداخته شد. نتایج حاصل حاکی از آن است که ارزیابان نه تنها تحت تأثیر عوامل زبانی کلام هستند بلکه به ویژگی های تعاملی نظیر نقش افراد در بحث گروهی، میزان مشارکت در بحث گروهی و الگوی کلی تعامل نیز در نمره دهی توجه دارند. نتایج این پژوهش می تواند در آموزش ارزیابان در فعالیت های ارزیابی شفاهی گروهی و همچنین در تولید چک لیست های ارزیابی مخصوص ارزیابی شفاهی گروهی مفید باشد.کلید واژه: ارزیابی شفاهی گروهی، ویژگی های زبانی، تعامل، روش تحقیق ترکیبی، تحلیل محتوا